xvi
Contents
5
Origins of Life and Earth Prehistory . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
Part II
Information
6
The Nature of Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
49
6.1
Structure and Quantity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
55
6.1.1
The Generation of Information . . . . . . . . . . . . . . . . . . .
55
6.1.2
Conditional and Unconditional Information . . . . . . . .
56
6.1.3
Experiments and Observations . . . . . . . . . . . . . . . . . . . .
56
6.2
Constraint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
58
6.2.1
The Value of Information . . . . . . . . . . . . . . . . . . . . . . . .
62
6.2.2
The Quality of Information
. . . . . . . . . . . . . . . . . . . . . .
63
6.3
Accuracy, Meaning, and Effect . . . . . . . . . . . . . . . . . . . . . . . . . . . .
64
6.3.1
Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
64
6.3.2
Meaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
65
6.3.3
Effect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
68
6.3.4
Significs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
69
6.4
Further Remarks on Information Generation
and Reception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
69
6.5
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
70
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
72
7
The Transmission of Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
75
7.1
The Capacity of a Channel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
77
7.2
Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
79
7.3
Decoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
81
7.4
Compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
82
7.4.1
Use of Compression to Measure Distance . . . . . . . . . .
85
7.4.2
Ergodicity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
85
7.5
Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
86
7.6
Error Correction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
88
7.7
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
90
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
90
8
Sets and Combinatorics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
93
8.1
The Notion of Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
93
8.2
Combinatorics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
93
8.2.1
Ordered Sampling with Replacement . . . . . . . . . . . . . .
94
8.2.2
Ordered Sampling Without Replacement . . . . . . . . . . .
94
8.2.3
Unordered Sampling Without Replacement . . . . . . . . .
95
8.2.4
Unordered Sampling With Replacement . . . . . . . . . . .
97
8.3
The Binomial Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
97